Spring Boot + Prometheus + Grafana 打造可视化监控

1、背景

SpringBoot的应用监控方案比较多，SpringBoot+Prometheus+Grafana是目前比较常用的方案之一。它们三者之间的关系大概如下图：

编辑

切换为居中

添加图片注释，不超过 140 字（可选）

关系图

2、开发SpringBoot应用

首先，创建一个SpringBoot项目，pom文件如下：

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
    <groupId>org.projectlombok</groupId>
    <artifactId>lombok</artifactId>
    <optional>true</optional>
</dependency>
<dependency>
    <groupId>io.prometheus</groupId>
    <artifactId>simpleclient_spring_boot</artifactId>
    <version>0.8.1</version>
</dependency>
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-security</artifactId>
</dependency>
复制代码

注意：这里的SpringBoot版本是1.5.7.RELEASE，之所以不用最新的2.X是因为最新的simpleclient_spring_boot只支持1.5.X，不确定2.X版本的能否支持。

MonitorDemoApplication启动类增加注解

@EnablePrometheusEndpoint 
@EnableSpringBootMetricsCollector 
@SpringBootApplication 
public class MonitorDemoApplication {
 
    public static void main(String[] args) {
        SpringApplication.run(MonitorDemoApplication.class, args);
    }
 
}
复制代码

配置文件application.yml

server:
  port: 8848 
spring:
  application:
    name: monitor-demo
 
security:
  user:
    name: admin
    password: 1234 
  basic:
    enabled: true
    # 安全路径列表，逗号分隔，此处只针对/admin路径进行认证
    path: /admin
 
# actuator暴露接口的前缀
management:
  context-path: /admin
  # actuator暴露接口使用的端口，为了和api接口使用的端口进行分离
  port: 8888 
  security:
    enabled: true
    roles: SUPERUSER
复制代码

测试代码TestController

@RequestMapping("/heap/test")
@RestController
public class TestController {

    public static final Map<String, Object> map = new ConcurrentHashMap<>();

    @RequestMapping("")
    public String testHeapUsed() {
        for (int i = 0; i < 10000000; i++) {
            map.put(i + "", new Object());
        }
        return "ok";
    }
}
复制代码

这里的逻辑就是在请求这个接口后，创建大量对象保存到map中增加堆内存使用量，方便后面测试邮件报警。

启动项目后，可以在IDEA中看到有很多Endpoints，如图：

编辑

切换为居中

添加图片注释，不超过 140 字（可选）

开始我的IDEA是不显示这个Endpoints，后来发现是我使用的idea版本太老了,还是2017.1的，

而这个需要 idea2017.2版本以上才能看到。

后来只好重新下载安装，弄了好久。

启动完毕，访问http://localhost:8888/admin/prometheus就可以看到服务暴露的那些监控指标了。

编辑

添加图片注释，不超过 140 字（可选）

监控指标

注意：由于开启了安全认证，所以访问这个URL的需要提示输入账号/密码，如果提示404请检查下你的请求地址是否正确，如果不设置management.context-path则默认地址是http://ip:port/prometheus

3、安装Prometheus

本文下载的是Windows版本prometheus-2.17.2.windows-amd64.tar.gz。

下载地址：prometheus.io/download/

解压后修改prometheus.yml文件，配置数据采集的目标信息。

scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  # - job_name: 'prometheus' 
 
    # metrics_path defaults to '/metrics' 
    # scheme defaults to 'http'.
 
    # static_configs:
    # - targets: ['localhost:9090']
  - job_name: 'monitor-demo' 
    scrape_interval: 5s # 刮取的时间间隔
    scrape_timeout: 5s  
    metrics_path: /admin/prometheus
    scheme: http
    basic_auth: #认证信息
      username: admin
      password: 1234 
    static_configs:
      - targets:
        - 127.0.0.1:8888  #此处填写 Spring Boot 应用的 IP + 端口号
复制代码

更多配置信息请查看官方文档。

现在可以启动Prometheus了，命令行输入：

1 2	prometheus.exe --config.file=prometheus.yml 复制代码

访问http://localhost:9090/targets，查看Spring Boot采集状态是否正常。

编辑

切换为居中

添加图片注释，不超过 140 字（可选）

采集目标信息

4、安装Grafana

本文用到的是Windows版本grafana-6.3.3.windows-amd64.zip。

下载地址：grafana.com/grafana/dow…

解压后运行bin目录下的grafana-server.exe启动，游览器访问http://localhost:3000即可看到登录页面，默认账号密码是admin/admin。

现在开始创建自己的可视化监控面板。

1.设置数据源

编辑

切换为居中

添加图片注释，不超过 140 字（可选）

\2. 创建一个Dashboard

编辑

添加图片注释，不超过 140 字（可选）

编辑

切换为居中

添加图片注释，不超过 140 字（可选）

\3. 填写采集的指标点

编辑

切换为居中

添加图片注释，不超过 140 字（可选）

注意：这里的指标点不能随便填，必须是已有的可以在 Prometheus看到。

编辑

切换为居中

添加图片注释，不超过 140 字（可选）

4.选择图表样式

编辑

切换为居中

添加图片注释，不超过 140 字（可选）

5.填写标题描述

编辑

切换为居中

添加图片注释，不超过 140 字（可选）

最后点击右上角的保存，输入Dashboad的名称即可。

编辑

切换为居中

添加图片注释，不超过 140 字（可选）

Tips: 这里的图表布局是可以用鼠标拖动的

5、添加邮件报警

在实际项目中当监控的某的个指标超过阈值（比如CPU使用率过高），希望监控系统自动通过短信、钉钉和邮件等方式报警及时通知运维人员，Grafana就支持该功能。

第一步：点击[Alerting]——>[Notification channels]添加通知通道

编辑

切换为居中

添加图片注释，不超过 140 字（可选）

编辑

切换为居中

添加图片注释，不超过 140 字（可选）

这里的Type有很多选项，包括webhook、钉钉等，这里以邮件为例。

第二步：邮箱配置

Grafana默认使用conf目录下defaults.ini作为配置文件运行，根据官方的建议我们不要更改defaults.ini而是在同级目录下新建一个配置文件custom.ini。

以腾讯企业邮箱为例，配置如下：

################### SMTP / Emailing ###################
[smtp]
enabled = true
host = smtp.exmail.qq.com:465
user = xxxx@ininin.com
# If the password contains # or ; you have to wrap it with triple quotes. Ex """#password;"""
password = XXX
cert_file =
key_file =
skip_verify = true
from_address = xxxx@ininin.com
from_name = Grafana
ehlo_identity = ininin.com
复制代码